#трансформерные модели

Alibaba представила Lumos-1 — унифицированную автогрессивную модель генерации видео, использующую MM-RoPE и AR-DF для эффективного моделирования пространственно-временных зависимостей с конкурентными результатами и эффективным обучением.

Исследователи DeepSeek выпустили nano-vLLM — компактную и эффективную Python-реализацию движка vLLM, сочетающую простоту и производительность для вывода LLM.

Исследователи NVIDIA разработали Dynamic Memory Sparsification (DMS) — метод сжатия KV кеша в трансформерах в 8 раз, который улучшает производительность инференса без снижения точности.